Lipschitz regularized f-divergences are constructed by imposing a bound on the Lipschitz constant of the discriminator in the variational representation. They interpolate between the Wasserstein metric and f-divergences and provide a flexible family of loss functions for non-absolutely continuous (e.g. empirical) distributions, possibly with heavy tails. We construct Lipschitz regularized gradient flows on the space of probability measures based on these divergences. Examples of such gradient flows are Lipschitz regularized Fokker-Planck and porous medium partial differential equations (PDEs) for the Kullback-Leibler and alpha-divergences, respectively. The regularization corresponds to imposing a Courant-Friedrichs-Lewy numerical stability condition on the PDEs. For empirical measures, the Lipschitz regularization on gradient flows induces a numerically stable transporter/discriminator particle algorithm, where the generative particles are transported along the gradient of the discriminator. The gradient structure leads to a regularized Fisher information (particle kinetic energy) used to track the convergence of the algorithm. The Lipschitz regularized discriminator can be implemented via neural network spectral normalization and the particle algorithm generates approximate samples from possibly high-dimensional distributions known only from data. Notably, our particle algorithm can generate synthetic data even in small sample size regimes. A new data processing inequality for the regularized divergence allows us to combine our particle algorithm with representation learning, e.g. autoencoder architectures. The resulting algorithm yields markedly improved generative properties in terms of efficiency and quality of the synthetic samples. From a statistical mechanics perspective the encoding can be interpreted dynamically as learning a better mobility for the generative particles.

我们的工作侧重于额外的渐变学习算法，用于在双线性零和游戏中查找纳什均衡。该方法可以正式被认为是乐观镜下降\ Cite {DBLP：Cenf / ICLR / Mertikopouloslz19}的典型方法，用于中间梯度步骤，基本上导致计算（近似）最佳反应策略先前迭代的轮廓。虽然乍一看，由于不合理的大，但是对于迭代算法，中间学习步骤，我们证明该方法保证了持续收敛到均衡。特别是，我们表明该算法首先达到$ \ eta ^ {1 / rho} $ - 近似纳什均衡，以$ \ rho> 1 $，通过减少每次迭代的kullback-leibler分歧至少$ \ omega （\ eta ^ {1+ \ frac {1} {\ rho}）$，因为足够小的学习率，$ \ eta $直到该方法成为承包地图，并收敛到确切的均衡。此外，我们对乘法权重更新方法的乐观变体进行实验比较，\ Cite {Daskalakis2019LastITERATECZ}并显示我们的算法具有显着的实际潜力，因为它在加速收敛方面提供了大量的收益。

Recent large-scale image generation models such as Stable Diffusion have exhibited an impressive ability to generate fairly realistic images starting from a very simple text prompt. Could such models render real images obsolete for training image prediction models? In this paper, we answer part of this provocative question by questioning the need for real images when training models for ImageNet classification. More precisely, provided only with the class names that have been used to build the dataset, we explore the ability of Stable Diffusion to generate synthetic clones of ImageNet and measure how useful they are for training classification models from scratch. We show that with minimal and class-agnostic prompt engineering those ImageNet clones we denote as ImageNet-SD are able to close a large part of the gap between models produced by synthetic images and models trained with real images for the several standard classification benchmarks that we consider in this study. More importantly, we show that models trained on synthetic images exhibit strong generalization properties and perform on par with models trained on real data.

自我监督模型在机器学习（ML）中越来越普遍，因为它们减少了对昂贵标签数据的需求。由于它们在下游应用程序中的多功能性，它们越来越多地用作通过公共API暴露的服务。同时，由于它们输出的向量表示的高维度，这些编码器模型特别容易受到模型窃取攻击的影响。然而，编码器仍然没有防御：窃取攻击的现有缓解策略集中在监督学习上。我们介绍了一个新的数据集推理防御，该防御使用受害者编码器模型的私人培训集将其所有权归因于窃取的情况。直觉是，如果受害者从受害者那里窃取了编码器的培训数据，则在受害者的培训数据上，编码器的输出表示的对数可能比测试数据更高，但如果对其进行了独立培训，则不会。我们使用密度估计模型来计算该对数可能性。作为我们评估的一部分，我们还建议测量被盗编码器的保真度并量化盗窃检测的有效性，而无需涉及下游任务；相反，我们利用相互信息和距离测量值。我们在视觉领域中广泛的经验结果表明，数据集推断是捍卫自我监督模型免受模型窃取的有前途的方向。

培训视频中人类姿势估计的最先进模型需要具有很难获得的注释的数据集。尽管最近已将变压器用于身体姿势序列建模，但相关方法依靠伪地真相来增强目前有限的培训数据可用于学习此类模型。在本文中，我们介绍了Posebert，Posebert是一个通过掩盖建模对3D运动捕获（MOCAP）数据进行全面训练的变压器模块。它是简单，通用和通用的，因为它可以插入任何基于图像的模型的顶部，以在基于视频的模型中使用时间信息。我们展示了Posebert的变体，不同的输入从3D骨骼关键点到全身或仅仅是手（Mano）的3D参数模型的旋转。由于Posebert培训是任务不可知论的，因此该模型可以应用于姿势细化，未来的姿势预测或运动完成等几个任务。我们的实验结果验证了在各种最新姿势估计方法之上添加Posebert始终提高其性能，而其低计算成本使我们能够在实时演示中使用它，以通过A的机器人手使机器人手通过摄像头。可以在https://github.com/naver/posebert上获得测试代码和型号。

与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。

我们将后处理应用于音频事件分类模型的类概率分布输出，并采用强化学习来共同发现后处理堆栈的各个阶段的最佳参数，例如分类阈值和所使用的中间过滤算法的内核大小平滑模型预测。为了实现这一目标，我们定义了一个强化学习环境：1）状态是该模型为给定音频样本提供的类概率分布，2）操作是选择后处理的每个参数的候选最佳值堆栈，3）奖励基于我们旨在优化的分类准确度度量，即在我们的情况下，这是基于音频事件的宏F1得分。我们将我们的后处理应用于两个音频事件分类模型的类概率分布输出，这些模型已提交给Dcase Task4 2020挑战。我们发现，通过使用强化学习来发现应用于音频事件分类模型输出的后处理堆栈的最佳每级参数，我们可以改进基于音频事件的宏F1分数（使用的主要指标在DCASE挑战中，将音频事件分类精度比较4-5％，与使用手动调谐参数相同的后处理堆栈相比。

表示学习方法通​​常依赖于从单个角度捕获的对象的图像，这些对象使用仿射转换进行了转换。此外，自我监督的学习是代表学习的成功范式，它依赖于实例歧视和自我实践，这些歧视和自我授权并不能总是弥合从不同角度观察的相同对象观察之间的差距。从多个角度查看对象有助于对对象的整体理解，这在数据注释受到限制的情况下特别重要。在本文中，我们提出了一种方法，该方法将自我监督的学习与多人匹配技术结合在一起，并证明了其在通过机器人真空捕获的数据和嵌入式摄像机捕获的数据上学习更高质量表示的有效性。我们表明，同一对象的多个视图与各种自我监管的预处理算法相结合的可用性可以导致改进的对象分类性能，而无需额外的标签。

近年来，在生成的对抗网络（GAN）领域已取得了很大的进步，尤其是在基于样式的架构的出现，这些架构解决了许多关键的缺点 - 无论是在建模能力和网络可解释性方面。尽管有这些改进，但在卫星图像领域中采用这种方法并不简单。生成任务中使用的典型视觉数据集是良好的对准和注释的，并且具有有限的可变性。相比之下，卫星图像表现出很大的空间和光谱变异性，广泛的高频细节的存在，而注释卫星图像的繁琐本质会导致注释稀缺性 - 进一步激励了无监督学习的发展。从这个角度来看，我们介绍了第一个基于训练的样式和小波的GAN模型，该模型可以很容易地在各种环境和条件下综合了一系列逼真的卫星图像，同时还可以保留高频信息。此外，我们表明，通过分析网络的中间激活，人们可以发现许多可解释的语义方向，这些方向促进了卫星图像的指导综合，而无需使用任何形式的监督。通过一组定性和定量实验，我们证明了我们框架的功效，这是在适合下游任务（例如，数据增强），合成成像质量以及不看到数据集的概括能力方面的功效。

文本分类在许多真实世界的情况下可能很有用，为最终用户节省了很多时间。但是，构建自定义分类器通常需要编码技能和ML知识，这对许多潜在用户构成了重大障碍。为了提高此障碍，我们介绍了标签侦探，这是一种免费的开源系统，用于标记和创建文本分类器。该系统对于（a）是一个无代码系统是独一无二的分类器在几个小时内，（c）开发用于开发人员进行配置和扩展。通过开放采购标签侦探，我们希望建立一个用户和开发人员社区，以扩大NLP模型的利用率。